Imagic 2022-10-31

Imagicを試す

https://gyazo.com/dcb3dd60484a670130f901e5cd2b47a4

Colab: https://colab.research.google.com/github/ShivamShrirao/diffusers/blob/main/examples/imagic/Imagic_Stable_Diffusion.ipynb#scrollTo=K6xoHWSsbcS3

Input Image(src, CC-BY)

https://gyazo.com/6b7beb6c41765ff93c1bdede39f5d14a

Prompt: "A girl with flower."

https://gyazo.com/a51b5ec3276a8c2fb8a0f4f5f0dc5835https://gyazo.com/c8ac3d72eb45ff23f4147c9e13002bb8https://gyazo.com/1db5b8b4203ca0871c9f7f24f24fdc9dhttps://gyazo.com/17d0abc1e7bfa9a0cca8eb58815812b7

あー、girlとしか指定しなかったら指定にない猫耳や髪の色の特徴は無視されちゃうのか

Original Prompt + "with flower"

https://gyazo.com/f9c8fcec4d04efe9baaf0c0984cc4fcahttps://gyazo.com/f797a94b69c8e4045cedeef95db54c7fhttps://gyazo.com/56c0a767631bda048fe2de857a7dc208https://gyazo.com/0383cb942bd1396a6fc14415448eef7f

今度は背景色しか変わってない

GradioでGUIが立ち上がるのか、すごいな。

Promptの強度がデフォルトでは0.9になっていた。

1にしてもあまり変化はなく2にしたらかなり壊れたので刻んでみる。

1.5

https://gyazo.com/835daff5eaf04975174029999e9f64d3https://gyazo.com/7923c11fa0f647454fd823b24b96ff25https://gyazo.com/4b01f69c815d851d5da45c7fba363dc6https://gyazo.com/049a7b0e9e1745cafeb08ab0fa143a1b

1.75

https://gyazo.com/ece7c6d8f55c16a421c86b70afdf5204https://gyazo.com/440717d53cee47ceeafc7ad87e7aea79https://gyazo.com/275cba18f6f1516d2f99add2600d83b8https://gyazo.com/a5e1a7e65dba47f6cbb3c8baba35a167

2.0

https://gyazo.com/eb439ade5291b27195591a64a7ba3debhttps://gyazo.com/24441ddcd73edfad5231936f3366512bhttps://gyazo.com/61d893fbdc48634187749ef0d2380b99https://gyazo.com/03303debf63085b17e70d1251821ae9f

https://gyazo.com/ece7c6d8f55c16a421c86b70afdf5204https://gyazo.com/6b7beb6c41765ff93c1bdede39f5d14a

これとか元の画像の特徴を残しつつ、指示通り花をつけていると言えそう

ワンポイントの花飾りを期待してた

耳毛を花と解釈するとは思わなかった

まあでも、そういう飾り方をするかもしれないなぁ、という感じ

興味深い点

元の画像はNovelAIで作られている

Imagic自体はStable Diffusion 1.4 ベース

結果的にStable Diffusion単体ではなかなか難しいはずのアニメ絵でNovelAIのサービス上ではできない表現ができている

追記

NovelAI img2img "flower" strength 0.7 noise 0.2

https://gyazo.com/483d3a0497d3099c9f68d4a6b8661142

noise 0

https://gyazo.com/a759fb52eaa940503df54168c5f66e3a

stength 0.6

https://gyazo.com/306578acb4cefeb7106cb1b985c7b30d

これが期待していたものに近い

negative promptに"{{3d}}"を入れたままだったことに気づいたので外してみたが大きな差はないな

https://gyazo.com/22362d98d9d283953be9c4d887686fe3https://gyazo.com/512141b9cf8c6d9bb238d698f654be1d

2つめはseed違い